![FSx for OpenZFS のパフォーマンスに関する考慮点をまとめてみた](https://devio2023-media.developers.io/wp-content/uploads/2022/08/amazon-fsx-for-open-zfs.png)
FSx for OpenZFS のパフォーマンスに関する考慮点をまとめてみた
HPC ワークロードでの利用を前提に FSx for OpenZFS のパフォーマンスと、チューニングポイントを調べていました。FSx for OpenZFS 利用時に抑えた方が良い点をまとめました。
参考資料
- Amazon FSx for OpenZFS performance - FSx for OpenZFS
- OpenZFS file system -- FSx for OpenZFS FAQs – Amazon Web Services
- Amazon FSx for OpenZFS AWS Black Belt Online Seminar
パフォーマンスチューニングは Black Belt を参考
スループットキャパシティ
スループットを名乗るものは2種類あります。ネットワークスループットキャパシティと、ディスクスループットキャパシティです。FSx for OpenZFS の構成にあてはめると以下の箇所です。
画像引用: Amazon FSx for OpenZFS performance - FSx for OpenZFS
インメモリキャッシュ
指定したプロビジョンドスループットの値によってインメモリキャッシュサイズが決まります。インメモリキャッシュサイズを明示的に指定できる追加課金オプションはありません。
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
ディスク IOPS
Automatic provisioned
選択時はデイスクサイズ 1GiB あたり 3 IOPS が提供されます。仮にディスクサイズが小さく(834GiB 以下)プロビジョンスループット値 64MiB/s を選択した場合はベースラインの 2,500 IOPS が適用されます。
- プロビジョンスループット 64MiB/s の場合は、ストレージサイズが 834GiB 以上でベースライン 2,500 IOPS を超える
- プロビジョンスループット 128MiB/s の場合は、ストレージサイズが 1667GiB 以上でベースライン 5,000 IOPS を超える
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
リードアクセスの多いワークロード
スループット推奨値
最低でも128 MB/s 以上のスループット指定が推奨されています。プロビジョンドスループットの値によってインメモリキャッシュサイズが決定されるためです。
Some request- or metadata-intensive workloads will also benefit from a larger file server in-memory cache. These types of workloads can generate and store a large volume of metadata in the in-memory cache. To ensure the size of your file server's in-memory cache is not a bottleneck for your file system performance, we recommend provisioning at least 128 MB/s of throughput capacity for these types of workloads. Amazon FSx for OpenZFS performance - FSx for OpenZFS
圧縮設定
データを圧縮することでデータ転送効率が良くなるためスループットの向上が見込めます。
For read-heavy workloads, compression can significantly improve the overall throughput performance of your file system because it reduces the amount of data that needs to be sent between the underlying storage and the file server. Amazon FSx for OpenZFS performance - FSx for OpenZFS
データ圧縮アルゴリズムは2つサポートされており、リード・ライトの特性が異なります。
- Z-Standard(デフォルト)
- LZ4 より読み取りスループットが高いがライトスループットは低下する
- LZ4
- Z Standard よライトスループットは高いがリードスループットは劣る(データ圧縮レベルは低い)
リードスループット: Z-Standard > LZ4 > 圧縮なし
ライトアクセスの多いワークロード
圧縮設定
圧縮を有効化するとデータがディスク書き込み時に圧縮されるためパフォーマンス劣化の可能性があります。 圧縮アルゴリズムによる書き込みの影響を考えると、読み書きのバランスをみて LZ4 を選択するか、書き込みが激しい場合は圧縮しないことも検討、または検証しましょう。
Enabling compression may reduce file system performance for write-heavy workloads as data is compressed as it is being written to disk. OpenZFS file system -- FSx for OpenZFS FAQs – Amazon Web Services
ライトスループット: 圧縮なし > LZ4 > Z-Standard
非同期書き込み
NFS サーバー(FSx for OpenZFS)の設定で非推奨ですが非同期書き込み設定(async)するとパフォーマンス向上する見込みがあります。ですが、書き込んだはずのデータを失う可能性があります。実際のワークロードでパフォーマンスが上がるのかさきに計測してから検討しましょう。再度同じ計算すれば同じ結果を得られる、冪等性は確保されているなどワークロードに応じて検討する事項はいろいろでてくるはずです。
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
似たところですと NFS クライアント(例: EC2)はデフォルトで推奨値の非同期書き込み(async)になっています。
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
NFS nconnect
複数の TCP セッションを張ることでパフォーマンス向上が期待できます。最大は16セッションです。
With FSx for OpenZFS, NFS clients can use the nconnect mount option to have multiple TCP connections (up to 16) associated with a single NFS mount. Such an NFS client multiplexes file operations onto multiple TCP connections (multi-flow) in a round-robin fashion to obtain improved performance beyond single TCP connection (single-flow) limits. For more information on single-flow limits, see Amazon EC2 instance network bandwidth in the Amazon EC2 User Guide for Linux Instances. NFS nconnect
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
NFS クライアント側でマウントするときのオプションで指定する必要があります。
sudo mount -t nfs -o nconnect=16 filesystem_dns_name:/vol_path /localpath
ZFS レコードサイズ
通常利用であればデフォルトのレコードサイズ(128 KiB)から変更する必要はありません。
When you create volume, the default record size is 128 KiB. General purpose workflows perform well using the default record size, and we don't recommend changing it, as it may adversely affect performance Amazon FSx for OpenZFS performance - FSx for OpenZFS
特定ケースにおいてはパフォーマンス向上する可能性があります。ワークロードを確認した上で調整・検証が必要です。
画像引用: Amazon FSx for OpenZFS AWS Black Belt Online Seminar
費用感
最低限よりひとつ上の性能で月額を把握しておきます。ディスクサイズも欲張らず 2 TiB ととしました。こちらのスペックで$327/月です。
FSx for OpenZFS | 備考 | |
---|---|---|
ディスクサイズ | 2 TiB | |
スループット | 128 MB/s | |
インメモリキャッシュサイズ | 2.8 GB | |
ネットワークスループット | 400 - 3,200 MB/s | ベースライン - バースト時 |
ディスクスループット | 128 - 1,024 MB/s | ベースライン - バースト時 |
デイスク IOPS | 6,000 IOPS | Automatic provisioned |
バックアップストレージ | 1.8 TiB | 仮定 |
ストレージ圧縮率 | 10 % | 仮定 |
データ圧縮や、NFS nconnect などの機能がサポートされているため、単純なスペック以上のパフォーマンスは期待できるのではないかと思います。
おわりに
あとで振り返るときにまた真剣に英語のドキュメントを読み漁るのがしんどいので日本語でまとめました。